Leopold chào đời ở thành Vienna, là con trai thứ ba của hoàng đế Francis I với người vợ nổi tiếng, Hoàng hậu Maria Theresa. Ông chào đời ngày 5 tháng 5 năm 1747.

Năm 1753, ông được hứa hôn với Maria Beatrice d'Este, người thừa kế công quốc Modena. Cuộc hôn nhân không bao giờ được tổ chức; Maria Beatrice thay vào đó thành hôn với em trai của Leopold, Đại Công tước Ferdinand.

Sau cái chết của người anh trai thứ hai, Charles, năm 1761, ông được phong làm thừa tự ở phụ thân ở Đại Công quốc Toscana, bởi theo quy định của hoàng lúc đó thì công quốc Toscanasẽ được truyền cho hoàng tử thứ hai, trong khi hoàng tử thứ nhất sẽ kế vị hoàng đế. Sau một số cuộc đàm phán hôn nhân, Leopold kết hôn vào ngày 5 tháng 8 năm 1764 với Trưởng công chúa Maria Luisa của Tây Ban Nha, con gái nhà vua Charles III của Tây Ban Nha và Maria Amalia xứ Saxony. Sau cái chết của phụ thân, Francis I (18 tháng 1 năm 1765), ông nối ngôi Đại Công tước. Leopold nổi tiếng ở Florence vì có quá nhiều nhân tình. Một trong số đó là Nữ Bá tước Cowper, vợ củaBá tước Cowper thứ 3, người được hoàng đế Joseph II phong Bá tước với lý do thực sự là bù đắp cho việc bị cắm sừng.